#Feature Engineering

7 篇

TabFM-Auto: Self-Evolving Pipelines for Tabular Foundation Models

TabFM-Auto：LLM Agent 自进化表格基础模型流水线

🧭 LLM Agent 驱动表格数据流水线自动进化 ★ 深度解读

Google Research · Google DeepMind · University of Southern California · Harvard University · University of Texas at Austin

将 LLM 编码代理与冻结表格基础模型结合，只进化数据流水线，拿下 TabArena 与 MLE-Bench-Tabular 榜首

📌 工作参考价值（4 点）

冻结主模型、只让 LLM agent 搜数据/特征/采样/后处理：在推荐/广告 CTR 模型上，可冻结已训练好的排序/召回模型，让 agent 围绕它生成特征工程、样本选择、校准代码，用离线验证集反馈，避免边改模型结构边训练的噪声。
从列名/元数据自动生成领域特征：电商表格中大量业务字段（价格、类目、用户/商品 ID），LLM 可生成 price_ratio、category co-occurrence、user-item graph degree 等显式特征，免去模型从原始数值中隐式推断。
上下文采样 + 先验校准应对不平衡：类似论文中对少数类过采样多视图并在 log-odds 空间做先验修正，适合电商点击/转化率预估中的正负样本不平衡、稀有类目。
严格测试隔离与防泄漏：搜索只在单 fold 训练集内部 3 折 CV，沙箱禁网且不挂测试集；分类数据 shuffle 防止行号/排序泄漏。这些工程细节可直接照搬进推荐模型自动调参/特征搜索 pipeline。

Agent | 2026-09-28 | HF Daily | score 8/10

TabFM: A Zero-Shot Foundation Model for Tabular Data

TabFM：表格数据的零样本基础模型

🧭 表格基础模型 · 零样本学习 ★ 深度解读

Google Research

400M参数表格基础模型，以in-context learning实现零样本监督预测，在TabArena 51数据集上超越AutoML与现有表格基础模型

📌 工作参考价值（4 点）

针对推荐/广告中的表格数据预测（CTR/CVR、用户行为特征建模），可以借鉴 TabFM 的行列解耦注意力：列向 ISAB 做 O(T·m) 跨样本聚合，行向 SAB + RoPE 做特征交互，CLS tokens 池化支持 16k 样本不爆炸，适合大规模样本 in-context 推理。
TabFM+ 的推理期多视图增强很实用：随机列排列 + 交叉特征/SVD 特征注入 + NNLS 集成 + Platt 校准；在冻结模型权重下即可提升稳健性，可低成本迁移到现有特征工程管线。
TabFM-Auto 思路：用 LLM 生成特征工程代码，内部闭环 CV 评分迭代，冻结主模型权重；可借鉴做推荐系统特征自动发现，如交叉特征、聚合特征、目标编码等，减少人工试错。
纯合成 SCM 数据训练的通用表格表示能零样本迁移，提示可以构建因果结构模拟用户/物品特征生成，减少对真实标签数据的依赖，用于冷启动或小样本场景。

Other | 2026-09-28 | HF Daily | score 8/10

Tabular Foundation Model In-Context Learning Zero-Shot Feature Engineering LLM-guided AutoML Synthetic Data

LLMs as Feature Engineers for Text-and-Tabular Prediction

LLM 作为特征工程师用于文本与表格预测

🧭 LLM 自动化特征工程

Teads

迭代式 LLM 框架自动从文本提取可解释分类特征，并通过错误反馈将发现速度提升最高 3 倍

📌 工作参考价值（4 点）

借鉴 generator-LLM 与 extractor-LLM 的职责分离：一个负责提出语义特征定义（如商品目标人群、文案情感、新颖度），另一个负责从原始文本中具体抽取类别值。这种解耦便于在电商商品描述、广告创意、用户评论中批量生成结构化特征。
用下游模型显式错误（如 AUC 排序反转）作为自然语言反馈，指导 LLM 迭代修正特征。实际工程中可记录预测高置信但排序错误的样本对，转化为提示词让 LLM 聚焦于解决特定失败模式，避免盲目搜索。
生成的可解释类别特征与 TF-IDF、dense embeddings 存在强互补性，建议在线性/树模型中将三者同时作为输入，而非二选一。论文实验显示组合严格优于任何子集，可提升 CTR 模型的预测能力。
SHAP 分析表明 LLM 提取的特征在重要性排名中占主导，适合需要审计和解释的广告投放、推荐排序场景，能为每个预测提供人可读的语义依据。

RecSys | 2026-09-18 | cs.LG | score 7/10

LLM Feature Engineering Text-and-Tabular Interpretability CTR Prediction Automated Feature Discovery

SymboLLM-FE: LLM-Accelerated Symbolic Regression for Automated Feature Engineering on Tabular Data

SymboLLM-FE：LLM 加速的符号回归自动特征工程

🧭 自动特征工程 · 符号回归+LLM

Nanjing University

符号回归生成高相关公式，再用 LLM 一次性精炼解释，实现高性能且可解释的自动特征工程

📌 工作参考价值（4 点）

在 CTR/CVR 等表格特征场景，可用符号回归自动挖掘高阶交互与非线性组合（如 ratio、log 交互），替代盲目数学变换，产出高预测力且具可解释性的特征。
用统计先验（候选公式与目标的相关性）限定候选集，再让 LLM 只做一次语义重命名/筛选，避免多轮 LLM 迭代带来的成本与幻觉风险；工程上可将 LLM 调用控制在个位数。
可把该方案嵌入现有特征平台：符号回归负责生成、选择大量公式特征，LLM 只负责后处理解释，适合批量生产特征并沉淀可复用特征库。
在电商风控、归因等对可解释性要求高的场景，符号回归天然提供公式形式，LLM 补全领域语义，能同时满足模型效果与业务审查要求。

Other | 2026-08-28 | cs.LG | score 7/10

Symbolic Regression AutoFE LLM Tabular Data Feature Engineering

Tracing the Heart: An Evidence-Linked Pipeline for Heart-Failure Feature Engineering

心衰特征工程自动化：证据链接的多智体流水线

🧭 Agent协作自动化特征工程与审计

Nimblemind · Singapore University of Technology and Design · University of Illinois Urbana-Champaign · Florida International University · University of California Los Angeles

多Agent协同生成可审计聚合特征，将心衰表型预测AUROC从0.895提升至0.963

📌 工作参考价值（4 点）

自动化特征工程流水线：多Agent分工协作（理解临床指南、检索证据、生成SQL/聚合特征）可迁移到电商推荐，用LLM Agent自动从用户行为日志、商品属性中生成高阶聚合特征，替代大量手工特征工程，提升CTR/CVR模型AUC。
证据链接与审计机制：每个特征关联生成依据（如原始表、映射规则），可解释且可审计，适合对模型效果变动进行归因追踪，在推荐系统中排查特征漂移或线上效果波动时有工程价值。
Rubric打分过滤低质特征：为特征生成设计量化评分标准（有效性、证据支持度），可在Agent pipeline中置入质检步骤，避免无效特征进入模型，减少特征膨胀和过拟合风险。
受限LLM审计确保合规：推荐系统中的风控、生态规则等场景可借鉴，用独立Agent审核生成特征是否符合业务规范，提升系统安全性。

MultiAgent | 2026-08-06 | cs.LG | score 6/10

Multi-Agent System Feature Engineering Evidence-Linked Rubric Scoring EHR Healthcare AI

Prompt Generation Technical Report

Prompt Generation 技术报告

🧭 生成式检索 · 配置驱动框架 ★ 深度解读

Taobao Search Team

通过配置驱动框架解耦生成式检索中的特征处理与模型架构，实现快速实验、统一部署和低延迟推理

📌 工作参考价值（4 点）

配置即实验：你的业务中每次加特征都要改模型代码吗？PG 把特征类型（文本、嵌入、组合、序列）和处理组件（映射、分桶、投影、合并等）都声明在 JSON 里，换特征只需改配置，几天变几分钟，适合快速迭代。
统一线上/线下特征一致性：训练—服务偏移（Training-Serving Skew）是推荐/搜索的顽疾。PG 的事件追踪机制记录线上原始特征，训练时回放，保证一致性 >99%，直接可复用。
Token 压缩实用：长行为序列（如 45K tokens）被 PG 压缩至约 11K tokens 仍有离线收益，用 mean/combo 合并等算子控制 token 预算，平衡效果与成本，对 LLM4Rec 场景有直接借鉴。
插件化扩展：自定义合并算子（如 attention merger）通过注册即可集成，不改框架，便于在电商搜索/推荐中试验特征融合策略。

GenRec | 2026-07-13 | cs.IR | score 10/10

Generative Retrieval Prompt Engineering Feature Engineering Configuration-Driven LLM Industrial Deployment

Mind the Gap: Bridging Behavioral Silos with LLMs in Multi-Vertical Recommendations

弥合行为孤岛：利用LLM提升多垂域电商推荐冷启效果

🧭 多垂直推荐 · LLM特征工程 ★ 深度解读

DoorDash Inc.

用分层RAG从富数据垂域推断用户分类偏好特征，注入排序模型解决冷启问题

📌 工作参考价值（4 点）

LLM作语义特征提取器：对用户餐厅订单与搜索等非结构化行为序列，通过分层RAG生成四层商品分类（L1-L4）的偏好特征，作为稠密用户画像直接注入排序模型，可迁移至电商多品类推荐冷启场景。
分层推理 + 置信度过滤：采用 cascade inference 从粗到细约束生成空间，设置 temperature=0.1、置信度阈值 0.8 并强制只输出预定义分类节点，显著减少幻觉并保证特征一致性，该 prompt 设计方法可直接复用。
工程降本关键措施：prompt caching 将指令与全量分类静态部分缓存，仅追加动态行为序列；按用户新行为触发 just-in-time 特征更新，综合降低 LLM 调用成本约 80%。
MTL 特征接入方式：将变长 taxonomy ID 列表经共享 embedding 表映射后做 mean pooling，再与已有 user/item 特征拼接送入共享 MLP trunk，实现即插即用，不改变模型结构即带来全人群 AUC 相对提升 4.4%。

RecSys | 2026-06-04 | cs.IR | score 10/10

Multi-Vertical Recommendation LLM Cold-Start Hierarchical RAG Feature Engineering MTL